Hoàng Tổ xuất thân trong gia đình thế tộc người Kinh châu thời Đông Hán. Lớn lên, ông làm chức quan nhỏ ở địa phương.

Năm 190, các chư hầu do Viên Thiệu cầm đầu phát động chiến tranh chống Đổng Trác. Thái thú Trường Sa (thuộc Kinh châu) là Tôn Kiên theo Viên Thiệu, giết chết Thứ sử Kinh châu là Vương Duệ. Lưu Biểu được Đổng Trác cử đến trấn nhậm Kinh châu thay Vương Duệ, Hoàng Tổ theo phục vụ Lưu Biểu và trở thành bộ tướng của Lưu Biểu. Ông được Lưu Biểu giao phụ trách thủy quân.

Đổng Trác thua chạy về Trường An, cùng lúc các chư hầu tan rã, Lưu Biểu về phe với Viên Thiệu, Tôn Kiên về phe với em Thiệu là Viên Thuật, hai bên mâu thuẫn nổ ra chiến tranh. Năm 191, Tôn Kiên theo lệnh của Viên Thuật mang quân đi đánh Kinh châu.

Quân Trường Sa kéo tới Tương Dương. Lưu Biểu sai Hoàng Tổ mang quân ra địch. Hoàng Tổ mang quân sang sông Hán Thủy đón đánh Tôn Kiên nhưng không địch nổi, thua trận phải vượt sông bỏ chạy. Ông rút về thành Tương Dương cùng Lưu Biểu. Tôn Kiên sang sông đuổi theo, bao vây thành Tương Dương (thuộc Nam Quận). Lưu Biểu và Hoàng Tổ đóng cửa thành cố thủ.

Ban đêm, Hoàng Tổ theo lệnh của Lưu Biểu, bí mật ra khỏi thành thu thập quân sĩ chạy tản mát. Hoàng Tổ thu thập được một số quân, quay trở lại thành thì đụng độ với Tôn Kiên. Hai bên giao tranh một trận nữa, Hoàng Tổ lại bị Tôn Kiên đánh bại một lần nữa, phải dẫn quân bỏ chạy. Tôn Kiên mang quân đuổi theo.[1]

Khi Hoàng Tổ chạy đến Hiện Sơn thì Tôn Kiên đuổi kịp. Hoàng Tổ rút quân vào trú trong rừng trúc, đợi Tôn Kiên đuổi lại gần, bèn lệnh bắn ra. Bộ tướng của Hoàng Tổ nấp trong rừng trúc bắn tên trúng Tôn Kiên. Tôn Kiên vì vết thương do tên bắn mà tử trận.[1]

Theo sách Anh hùng ký chép người giết chết Kiên là Lã Công chứ không phải Hoàng Tổ: Tướng của Lưu Biểu là Lã Công đem quân men núi đến chỗ Tôn Kiên. Tôn Kiên đem kinh kị theo núi đánh Lã Công. Quân Lã Công ném đá xuống, trúng đầu Tôn Kiên, não lồi ra mà chết.